Refactor downloading Docker Compose bundle #31

jarkkoka · 2024-12-20T08:17:54Z

Docker Compose bundle is now downloaded as a ZIP file from jore4-docker-compose-bundle repository instead of downloading the latest release from jore4-tools.

This change is

janneronkko

Reviewable status: 0 of 2 files reviewed, 1 unresolved discussion (waiting on @culka and @jarkkoka)

development.sh line 32 at r1 (raw file):

  unzip jore4-docker-compose-bundle.zip "jore4-docker-compose-bundle-main/docker-compose/*" -d .
  mv jore4-docker-compose-bundle-main/docker-compose/* ./docker
  rm -rf jore4-docker-compose-bundle-main jore4-docker-compose-bundle.zip

Voit välttää temppitiedoston (tai jos et halua, niin talleta temppitiedosto /tmp:hen):

rm -rf docker
mkdir -p docker
curl -L https://github.com/HSLdevcom/jore4-docker-compose-bundle/archive/refs/heads/main.tar.gz \
  | tar -xz \
     -C ./docker \
     --strip-components 2 \
     --wildcards 'jore4-docker-compose-bundle-main/docker-compose/*'

ja kohdehakemisto kannattaa poistaa aluksi, jotta vanhoja tiedostoja ei jää

culka

Reviewable status: 0 of 2 files reviewed, 2 unresolved discussions (waiting on @janneronkko and @jarkkoka)

development.sh line 37 at r5 (raw file):

    && unzip -q /tmp/jore4-docker-compose-bundle.zip -d /tmp \
    && mv /tmp/jore4-docker-compose-bundle-main/docker-compose/* ./docker \
    && rm -fr \

&& rm sijaan voisi käyttää mielummin ; rm, suoritetaan poisto huolimatta siitä onnistuiko aiemmat operaatiot vai ei

janneronkko

Reviewable status: 0 of 2 files reviewed, 3 unresolved discussions (waiting on @culka and @jarkkoka)

development.sh line 50 at r5 (raw file):

    | head -1 \
    | sed -E 's/.*"sha": "(.*)",/\1/' \
    > ./docker/RELEASE_VERSION.txt

Kannattaa hakea jsonista data jq:lla:

curl -s -H "Accept: application/vnd.github.v3+json" https://api.github.com/repos/HSLdevcom/jore4-docker-compose-bundle/branches/main | jq -r .commit.sha

Teknisesti on mahdollista, että tässä RELEASE_VERSION.txt:hen tulee väärä commit SHA, koska on mahdollista, että muutoksia pusketaan juuri silloin kun skriptiä ajetaan, jolloin haettu paketti tulee eri commitista kuin haettu versio.

Eli muuta järjestystä ja hae sisältö commit SHA:n perusteella (en testannut alla olevaa koodia, muuten kuin jq-komennon osalta että se toimii varmasti):

commit_sha=$(curl -s -H "Accept: application/vnd.github.v3+json" https://api.github.com/repos/HSLdevcom/jore4-docker-compose-bundle/branches/main | jq -r .commit.sha)

curl -sL https://github.com/HSLdevcom/jore4-docker-compose-bundle/archive/${commit_sha}.zip \
  -o /tmp/jore4-docker-compose-bundle.zip \
  && unzip -q /tmp/jore4-docker-compose-bundle.zip -d /tmp \
  && mv /tmp/jore4-docker-compose-bundle-${commit_sha}/docker-compose/* ./docker \
  && rm -fr \
    /tmp/jore4-docker-compose-bundle.zip \
    /tmp/jore4-docker-compose-bundle-main/

echo ${commit_sha} >> .docker/RELEASE_VERSION.txt

janneronkko

Reviewable status: 0 of 2 files reviewed, 3 unresolved discussions (waiting on @culka and @jarkkoka)

development.sh line 50 at r5 (raw file):

Previously, janneronkko (Janne Rönkkö) wrote…

Kannattaa hakea jsonista data jq:lla:
curl -s -H "Accept: application/vnd.github.v3+json" https://api.github.com/repos/HSLdevcom/jore4-docker-compose-bundle/branches/main | jq -r .commit.sha
Teknisesti on mahdollista, että tässä RELEASE_VERSION.txt:hen tulee väärä commit SHA, koska on mahdollista, että muutoksia pusketaan juuri silloin kun skriptiä ajetaan, jolloin haettu paketti tulee eri commitista kuin haettu versio.

Eli muuta järjestystä ja hae sisältö commit SHA:n perusteella (en testannut alla olevaa koodia, muuten kuin jq-komennon osalta että se toimii varmasti):
commit_sha=$(curl -s -H "Accept: application/vnd.github.v3+json" https://api.github.com/repos/HSLdevcom/jore4-docker-compose-bundle/branches/main | jq -r .commit.sha)

curl -sL https://github.com/HSLdevcom/jore4-docker-compose-bundle/archive/${commit_sha}.zip \
  -o /tmp/jore4-docker-compose-bundle.zip \
  && unzip -q /tmp/jore4-docker-compose-bundle.zip -d /tmp \
  && mv /tmp/jore4-docker-compose-bundle-${commit_sha}/docker-compose/* ./docker \
  && rm -fr \
    /tmp/jore4-docker-compose-bundle.zip \
    /tmp/jore4-docker-compose-bundle-main/

echo ${commit_sha} >> .docker/RELEASE_VERSION.txt

toki tietysti jq:n käyttö vaatii, että jq on asennettu kaikkien koneelle. Ja ehkä tuo github API:n palauttama JSON on aina formatoitu tuollein nätiksi, jotta grep toimii

"jore4-docker-compose-bundle" repository. The CLI commands used work on both Linux (GNU) and macOS (BSD) and are not dependent on shell built-ins.

jarkkoka

Reviewable status: 0 of 2 files reviewed, 3 unresolved discussions (waiting on @culka and @janneronkko)

development.sh line 32 at r1 (raw file):

Previously, janneronkko (Janne Rönkkö) wrote…

Voit välttää temppitiedoston (tai jos et halua, niin talleta temppitiedosto /tmp:hen):
rm -rf docker
mkdir -p docker
curl -L https://github.com/HSLdevcom/jore4-docker-compose-bundle/archive/refs/heads/main.tar.gz \
  | tar -xz \
     -C ./docker \
     --strip-components 2 \
     --wildcards 'jore4-docker-compose-bundle-main/docker-compose/*'
ja kohdehakemisto kannattaa poistaa aluksi, jotta vanhoja tiedostoja ei jää

--wildcards option does not seem to be available on macOS (BSD). However, on Mac, --include seems to do the same thing.

development.sh line 50 at r5 (raw file):

Previously, janneronkko (Janne Rönkkö) wrote…

toki tietysti jq:n käyttö vaatii, että jq on asennettu kaikkien koneelle. Ja ehkä tuo github API:n palauttama JSON on aina formatoitu tuollein nätiksi, jotta grep toimii

Korvasin curlin käytön GitHub CLI:llä, jossa on erikseen --jq -vipu, mikä ei vaadi erikseen jq:n asentamista.

janneronkko

Reviewable status: 0 of 2 files reviewed, 6 unresolved discussions (waiting on @culka and @jarkkoka)

development.sh line 8 at r6 (raw file):

COMMAND=${1:-}
ARG1=${2:-}

ennemmin näin:

COMMAND=${1}
shift

ja kun myöhemmin tarvitaan loppuja argumentteja, niin käyttää "${@}"

development.sh line 42 at r6 (raw file):

# substring of the actual value.
download_docker_bundle() {
  local commit_sha="${1:-}"

nimeä tämä muuttuja vaikka commit_ref ja aseta alkarvoksi ${1:-main}

Tämän jälkeen seuraava if on turha, koska commitin hash saadaan suoraan tällä:

    local gh_commit_sha=$(
      gh api \
        -H "Accept: application/vnd.github+json" \
        -H "X-GitHub-Api-Version: 2022-11-28" \
        "${gh_path}/commits/${commit_ref}" \
        --jq '.sha'
    )

Tämä yhdistettynä seuraavaan kommenttiin, niin päästään tuosta ylimmän tason iffistä kokonaan eroon

development.sh line 62 at r6 (raw file):

    # Then, compare if a substring match is found.
    if [[ "$gh_commit_sha" == "$commit_sha"* ]]; then

tässä voi suoraan tarkastella gh-komennon exit-codea
eli tämä riittää:

if [[ $? -ne 0 ]]; then
  echo "Error: Querying GH API with the commit ID '${commit_sha}' failed." >&2
  exit 1
fi

development.sh line 116 at r6 (raw file):

  local commit_sha="${1:-}"

  download_docker_bundle ${commit_sha}

tähän vaan "${@}" ja ota tuo paikallinen muuttuja pois

development.sh line 125 at r6 (raw file):

  local commit_sha="${1:-}"

  download_docker_bundle ${commit_sha}

tähän vaan "${@}" ja ota tuo paikallinen muuttuja pois

jarkkoka

Reviewable status: 0 of 2 files reviewed, 6 unresolved discussions (waiting on @culka and @janneronkko)

development.sh line 42 at r6 (raw file):

Previously, janneronkko (Janne Rönkkö) wrote…

nimeä tämä muuttuja vaikka commit_ref ja aseta alkarvoksi ${1:-main}

Tämän jälkeen seuraava if on turha, koska commitin hash saadaan suoraan tällä:
    local gh_commit_sha=$(
      gh api \
        -H "Accept: application/vnd.github+json" \
        -H "X-GitHub-Api-Version: 2022-11-28" \
        "${gh_path}/commits/${commit_ref}" \
        --jq '.sha'
    )
Tämä yhdistettynä seuraavaan kommenttiin, niin päästään tuosta ylimmän tason iffistä kokonaan eroon

Done.

development.sh line 62 at r6 (raw file):

Previously, janneronkko (Janne Rönkkö) wrote…

tässä voi suoraan tarkastella gh-komennon exit-codea
eli tämä riittää:
if [[ $? -ne 0 ]]; then
  echo "Error: Querying GH API with the commit ID '${commit_sha}' failed." >&2
  exit 1
fi

Done.

development.sh line 116 at r6 (raw file):

Previously, janneronkko (Janne Rönkkö) wrote…

tähän vaan "${@}" ja ota tuo paikallinen muuttuja pois

Done.

development.sh line 125 at r6 (raw file):

Previously, janneronkko (Janne Rönkkö) wrote…

tähän vaan "${@}" ja ota tuo paikallinen muuttuja pois

Done.

janneronkko

Reviewable status: 0 of 2 files reviewed, 2 unresolved discussions (waiting on @culka and @jarkkoka)

jarkkoka

Reviewable status: 0 of 2 files reviewed, 2 unresolved discussions (waiting on @culka and @janneronkko)

development.sh line 37 at r5 (raw file):

Previously, culka (Teemu Mäkinen) wrote…

&& rm sijaan voisi käyttää mielummin ; rm, suoritetaan poisto huolimatta siitä onnistuiko aiemmat operaatiot vai ei

Done.

development.sh line 8 at r6 (raw file):

Previously, janneronkko (Janne Rönkkö) wrote…

ennemmin näin:
COMMAND=${1}
shift
ja kun myöhemmin tarvitaan loppuja argumentteja, niin käyttää "${@}"

Done.

culka

Reviewed 2 of 2 files at r1, 1 of 1 files at r8, 1 of 1 files at r9, 1 of 1 files at r12, 1 of 1 files at r13, all commit messages.
Reviewable status: all files reviewed, 1 unresolved discussion (waiting on @janneronkko)

… Compose bundle. Refactor `development.sh` to use GitHub CLI.

…unction.

…nts.

Remove obsolete version property from docker-compose.custom.yml.

f8bb503

jarkkoka requested review from culka and janneronkko December 20, 2024 08:37

jarkkoka marked this pull request as ready for review December 20, 2024 08:37

janneronkko requested changes Dec 20, 2024

View reviewed changes

jarkkoka force-pushed the refactor-downloading-docker-compose-bundle branch 16 times, most recently from 5c90577 to 142603f Compare December 20, 2024 15:14

culka requested changes Dec 20, 2024

View reviewed changes

janneronkko requested changes Dec 23, 2024

View reviewed changes

jarkkoka added 3 commits January 3, 2025 17:46

Fix an error in development.sh instructions.

edc022a

From now on, download the JORE4 Docker Compose bundle from the

3700c86

"jore4-docker-compose-bundle" repository. The CLI commands used work on both Linux (GNU) and macOS (BSD) and are not dependent on shell built-ins.

Fetch the commit ID of the Docker Compose bundle to ease debugging.

7ed6856

jarkkoka force-pushed the refactor-downloading-docker-compose-bundle branch 3 times, most recently from c8a1f87 to 7eac7e2 Compare January 3, 2025 18:05

jarkkoka force-pushed the refactor-downloading-docker-compose-bundle branch from 7eac7e2 to fb9c8a3 Compare January 3, 2025 18:15

jarkkoka requested review from culka and janneronkko January 7, 2025 13:35

jarkkoka commented Jan 7, 2025

View reviewed changes

janneronkko requested changes Jan 8, 2025

View reviewed changes

jarkkoka force-pushed the refactor-downloading-docker-compose-bundle branch 2 times, most recently from a1d3c46 to a2bf21e Compare January 8, 2025 11:50

jarkkoka commented Jan 8, 2025

View reviewed changes

janneronkko approved these changes Jan 8, 2025

View reviewed changes

jarkkoka commented Jan 8, 2025

View reviewed changes

jarkkoka force-pushed the refactor-downloading-docker-compose-bundle branch 3 times, most recently from 284b92a to 5404494 Compare January 8, 2025 13:42

culka approved these changes Jan 8, 2025

View reviewed changes

jarkkoka force-pushed the refactor-downloading-docker-compose-bundle branch 2 times, most recently from 67ed1ed to 4c55807 Compare January 8, 2025 15:39

jarkkoka added 6 commits January 8, 2025 17:46

Add commit SHA parameter for downloading a specific version of Docker…

e937667

… Compose bundle. Refactor `development.sh` to use GitHub CLI.

Order some operations a bit differently in download_docker_bundle f…

431501a

…unction.

Fix downloading Docker Compose bundle to work with partial SHA argume…

3a7c885

…nts.

Simplify downloading Docker Compose bundle based on the review comments.

910f3f2

Add some check to shell script code downloading Docker Compose bundle.

bcf609c

Refactor function call flow in development.sh.

58ddfd5

jarkkoka force-pushed the refactor-downloading-docker-compose-bundle branch from 4c55807 to 58ddfd5 Compare January 8, 2025 15:49

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Refactor downloading Docker Compose bundle #31

Refactor downloading Docker Compose bundle #31

jarkkoka commented Dec 20, 2024 •

edited by culka

Loading

janneronkko left a comment

culka left a comment

janneronkko left a comment

janneronkko left a comment

jarkkoka left a comment

janneronkko left a comment

jarkkoka left a comment

janneronkko left a comment

jarkkoka left a comment

culka left a comment

Refactor downloading Docker Compose bundle #31

Are you sure you want to change the base?

Refactor downloading Docker Compose bundle #31

Conversation

jarkkoka commented Dec 20, 2024 • edited by culka Loading

janneronkko left a comment

Choose a reason for hiding this comment

culka left a comment

Choose a reason for hiding this comment

janneronkko left a comment

Choose a reason for hiding this comment

janneronkko left a comment

Choose a reason for hiding this comment

jarkkoka left a comment

Choose a reason for hiding this comment

janneronkko left a comment

Choose a reason for hiding this comment

jarkkoka left a comment

Choose a reason for hiding this comment

janneronkko left a comment

Choose a reason for hiding this comment

jarkkoka left a comment

Choose a reason for hiding this comment

culka left a comment

Choose a reason for hiding this comment

jarkkoka commented Dec 20, 2024 •

edited by culka

Loading